这是一个基于原始DeepSeek-OCR模型的优化版本，专门支持在苹果金属性能着色器（MPS）和CPU上进行推理的OCR模型。它能够从图像中提取文本并转换为结构化格式，支持多语言文档识别。

多模态Transformers其他

VieNeu-TTS-1000h是一款先进的越南语端侧文本转语音模型，基于约1000小时高质量越南语语音数据训练，具备即时语音克隆功能，支持越南语与英语的无缝切换，能在CPU或GPU上实时合成24kHz波形。

音频处理Tensorboard其他

Qwen3-VL是通义系列最强大的视觉语言模型，采用混合专家模型架构（MoE），提供GGUF格式权重，支持在CPU、GPU等设备上进行高效推理。模型在文本理解、视觉感知、空间理解、视频处理等方面全面升级。

多模态Gguf

Qwen3-VL-2B-Thinking是Qwen系列中最强大的视觉语言模型之一，采用GGUF格式权重，支持在CPU、NVIDIA GPU、Apple Silicon等设备上进行高效推理。该模型具备出色的多模态理解和推理能力，特别增强了视觉感知、空间理解和智能体交互功能。

多模态Transformers

Qwen3-VL是通义系列中最强大的视觉语言模型，具备出色的文本理解和生成能力、深入的视觉感知和推理能力、长上下文支持、强大的空间和视频动态理解能力，以及智能体交互能力。本仓库提供GGUF格式权重，支持在CPU、GPU等设备上高效推理。

多模态Transformers

Qwen3-VL-2B-Instruct-GGUF是通义千问系列的多模态视觉语言模型的GGUF量化版本，具备20亿参数，支持图像理解和文本生成的无缝融合，可在CPU、GPU等设备上高效运行。

多模态Transformers

SecInt是一个针对实时nginx安全日志分类进行微调的SmolLM2-360M模型，旨在自动检测Web服务器日志中的安全威胁、错误和正常流量模式，准确率超过99%，可在CPU上实现实时检测。

自然语言处理Transformers支持多种语言

VieNeu-TTS是首个可在个人设备上运行的越南语文本转语音模型，具备即时语音克隆能力。基于NeuTTS Air微调，能够生成自然逼真的越南语语音，在CPU上具备实时性能。

音频处理Safetensors其他

这是DeepSeek-OCR的模态平衡量化（MBQ）变体，通过对视觉编码器采用4位NF4量化减少内存占用，同时保持投影器和语言/解码器的BF16精度，可在普通GPU上进行本地部署和快速CPU试验。

多模态Transformers

Svara-TTS是一款面向印度语言的开源多语言文本转语音模型，支持19种语言（18种印度语言+印度英语）。该模型基于Orpheus风格的离散音频令牌方法构建，旨在普通GPU/CPU上实现清晰、富有表现力且低延迟的语音合成。

音频处理Transformers支持多种语言

这是DeepSeek公司的DeepSeek-MoE-16B模型的Q4_K_M量化版本，通过llama.cpp的Rust绑定启用了MoE（专家混合）CPU卸载功能，显著减少显存使用。

自然语言处理Gguf支持多种语言

这是基于WeOpenML的GPT-OSS 20B模型的GGUF格式版本，首次实现了创新的MoE CPU专家卸载技术。该技术在保持完整生成质量的同时，实现了99.9%的显存缩减，仅需2MB显存即可运行200亿参数的混合专家模型。

自然语言处理Safetensors支持多种语言

这是TheDrummer/Snowpiercer-15B-v3模型的GGUF量化版本，提供了多种量化选项，从高质量到低内存占用，支持在CPU和GPU上高效运行。模型使用llama.cpp进行量化，并针对不同硬件进行了优化。

自然语言处理Gguf

这是Qwen3-Omni 31.7B参数模型的专业量化版本，采用先进的INT8+FP16混合精度量化技术，内存使用减少50%以上，支持智能GPU/CPU混合推理，让大型多模态模型能够在消费级硬件上高效运行。

多模态Safetensors支持多种语言

ColModernVBERT是ModernVBERT的后期交互版本，专门针对视觉文档检索任务进行了微调，是该任务上性能最佳的模型。它是一个参数为2.5亿的紧凑型视觉-语言编码器，在视觉文档基准测试中达到了近乎参数大10倍模型的性能，同时在CPU上具有可观的推理速度。

多模态Safetensors英语

本模型是基于huihui-ai/Huihui-Tongyi-DeepResearch-30B-A3B-abliterated转换的GGUF格式版本，专门为llama.cpp优化，支持高效的CPU推理。模型采用Q4_K_M量化级别，在保持较好性能的同时显著减小模型体积。

自然语言处理Transformers英语

基于Llama 3.1 8B Instruct微调的GGUF量化模型，具有强势、果断且具有挑衅性的AI人设，专为角色扮演和创意写作场景优化，支持在CPU或GPU上进行本地推理。

自然语言处理Transformers

基于OpenAI的gpt-oss-120b模型优化的大型语言模型，使用NEO数据集进行性能提升，支持多场景应用，可在CPU、GPU或部分卸载模式下运行，具有128k上下文长度和最多128个专家的混合专家架构。

自然语言处理Gguf支持多种语言

这是 sentence-transformers/all-MiniLM-L6-v2 模型的 TensorFlow Lite 转换版本，专门为边缘设备优化。该模型可将文本映射到384维向量空间，支持语义搜索、文本相似度计算等任务。提供Float32和INT8量化两个版本，量化版本体积缩小约4倍，在CPU上运行速度显著提升。

自然语言处理Litert英语

这是一个基于Qwen 3平台的编码/编程模型，具备完整的推理能力，速度极快。在中等硬件上每秒能处理超过150个token，仅使用CPU时每秒也能处理50个以上token。它是一个通用的编码模型，适用于生成代码块、构思编码思路以及快速生成代码草稿。

自然语言处理Gguf支持多种语言